Mahalia Jackson lớn lên trong xóm Black Pearl, khu dân cư Carrollton ở New Orleans, Louisiana. Ở đây có một căn nhà ba phòng trên đường Pitt chứa đến 13 nhân khẩu, trong đó có cô bé Mahalia, vẫn thường được gọi là "Halie", bởi vì một người dì cũng mang tên Mahalia. Cô có một em trai tên Roosevelt, và mẹ cô là Charity. Trong nhà, ngoài mẹ con cô, còn có vài người dì và các anh chị em họ.

Jackson mắc dị tật bẩm sinh genu varum (chân vòng kiềng). Bác sĩ muốn chữa trị bằng cách phẫu thuật đánh gãy xương của cô bé, nhưng những bà dì của cô không đồng ý. Phương pháp trị liệu của mẹ cô là chà xát chân con gái bằng nước rửa chén bẩn thỉu. Tuy nhiên, đôi chân vòng kiềng không ngăn được cô bé biểu diễn khiêu vũ cho bà chủ da trắng trong ngôi nhà mà mẹ cô và Dì Bell đang giúp dọn dẹp vệ sinh.

Khi lên Mahalia lên sáu, mẹ cô, Charity, qua đời. Đây là cú sốc lớn đối với gia đình, vì phải có người đứng ra nhận nuôi Mahalia và Peter. Dì Duke đồng ý nhận nuôi hai đứa trẻ, và chúng bị buộc phải làm việc từ sáng sớm đến chiều tối. Dì Duke luôn mang đôi găng tay trắng để kiểm tra ngôi nhà. Nếu không lau chùi sạch sẽ, Halie sẽ bị đánh đòn. Nếu một trong những người họ hàng bận việc không thể làm việc nhà, hoặc không thể đến lau dọn nhà cho những người thuê mướn họ, Halie sẽ là một trong số những đứa trẻ trong gia đình được sai đi chu tất các công việc này. Khó mà mơ tới cơ hội cắp sách đến trường.

Nhưng Halie thích ca hát, và chỉ có nhà thờ là nơi cô có thể tự do ca hát. Dì Bell bảo rằng sẽ có lúc cô trình diễn trước hoàng gia. Rồi có một ngày Halie chứng kiến lời tiên đoán ấy trở thành hiện thực. Mahalia bắt đầu sự nghiệp âm nhạc của cô tại Nhà thờ Baptist Núi Moriah. Sau khi nhận lễ báp-têm tại Sông Mississippi do quản nhiệm Nhà thờ Núi Moria, Mục sư E.D. Lawrence, chủ lễ, Mahalia trở về nhà thờ để trở nên thuộc viên chính thức của hội thánh.